#sliding-window attention

3 篇

Real Long-Term Memory for AI: A 50-Million-Token Window That Is Faster and Cheaper Than Recompute

AI 的真实长期记忆：5000 万 token 窗口，比重算更快更省

🧭 LLM 推理 · KV 卸载长期记忆 ★ 深度解读

Corbenic AI

将 KV state 加密落盘并按需恢复，实现 50M token 零重算长期记忆，恢复比重算快 2.8–4.3 倍、省 8.8–12.3 倍 GPU 能耗

📌 工作参考价值（4 点）

在电商/广告/推荐 Agent 中，若大量 prompt 反复包含同一用户历史、商品序列或政策知识，可把已处理 prefix 的 KV 状态落盘复用，而不是每次 RAG re-read：单 block 恢复比重算快 2.8–4.3×，能耗降 8.8–12.3×，且 TTFT 不随历史深度增长，适合长 session 个性化。
对含敏感 PII 的长期用户记忆，可用 AES-256-GCM 加密 KV store 作为组织级 durable memory；字节精确恢复避免文本重读和潜在泄露，同时小模型/大模型共享同一存储，日常请求用小模型，复杂问题用大模型读取同一个 memory。
评测长期上下文时，采用盲摄入 + needle/decoys + negative control + 存储审计的防作弊协议，避免仅靠前缀缓存命中或 keyword match 假阳性；业务侧做 A/B 时可借鉴分离「状态恢复命中率」和「模型回答准确率」两个指标。
注意：方案依赖 local NVMe 和 sliding-window attention 的低 KV footprint（Gemma 4 12B 仅 36.4 KiB/token），对 full-attention 模型需评估存储成本；当前只做单块 restore，不扩大单次 attention 窗口，也不做 learned retrieval。

LLM | 2026-10-06 | HF Daily | score 8/10

Maglev：滑动循环记忆

🧭 高效序列建模 · 循环记忆训练 ★ 深度解读

The University of Texas at Austin

用并行 prefiller 提供记忆目标、decoder 滑动窗口注入循环 K/V，实现有界推理的非线性循环 Transformer

📌 工作参考价值（4 点）

长用户行为序列建模：如果线上模型希望固定窗口 KV cache + 有界推理，可用一个更强的 full-attention teacher 离线生成每一步 memory target，蒸馏到滑动窗口 student，避免在线逐步展开 RNN 的延迟。
Memory 注入方式：把上一时刻用户状态通过 K/V 通道加入当前 attention，而不是占用 token 位，K/V cache 大小不增加；可把用户实时特征和长期记忆分别走 local/recurrent K/V，并用 2σ gate 初始为 1 的双通道门控稳定混合。
辅助一致性损失调参：λ 不是越大越好；teacher 和 student 共享大部分参数时，过强的 memory 对齐会约束表示，λ 应小；分离 teacher 时可用较大 λ。该结论可直接迁移到多任务/蒸馏式训练。
参数共享策略：prefiller 与 decoder 共享主体参数可大幅省显存，同时保留大部分收益；若业务允许额外 teacher 容量，再考虑分离 stack。

Training | 2026-08-04 | HF Daily | score 8/10

重新思考混合架构中高效注意力的作用

🧭 混合注意力架构的机制分析与设计

Tsinghua University · OpenBMB

高效注意力影响长文本能力涌现速度，全注意力主导检索，大窗口延迟检索头形成，小窗口+NoPE 有效提升长文本性能

📌 工作参考价值（4 点）

若在电商搜索或 Agent 场景使用长上下文 LLM，可借鉴「仅在全注意力层移除位置编码（NoPE）」的技巧，以微小的短上下文性能代价大幅提升长文档检索能力，适合处理产品评论汇总、客服多轮对话等任务。
发现「大窗口懒惰」现象：过大的滑窗反而延迟全注意力层中检索头的形成，因此在设计混合注意力架构时，需权衡窗口大小对训练早期检索能力的影响，避免盲目扩大窗口。
实验表明不同高效注意力设计最终收敛到相当的长上下文性能，从业者在选型时可将重点放在推理效率而非担心最终性能差异。
通过分析全注意力层与高效注意力层在长程检索中的分工，可指导混合模型微调：冻结全注意力层已足以保留检索能力，高效注意力层可针对其他任务适配。

LLM | 2026-06-12 | HF Daily | score 6/10